知っておくとちょっと便利？SageMaker Processingの仕様とProccesorとScriptProcessor

#Amazon SageMaker

じょんすみす

2023.09.15

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

おはこんハロチャオ～！何者(なにもん)なんじゃ？じょんすみすです。

SageMaker Processing(以下Processing)を使う時、SageMaker Python SDK(以下SDK)を利用してジョブを実行しているケースが多いかと思います。 Processingを含めてSageMakerの各種ジョブは他のAWSのサービスと同様にAPIを使ってのアクセスです。そのため、このSDKもAWS CLIやBoto3などと同様にAPI呼び出しのラッパーとして提供されているものとなりますが、scikit-learn風のインターフェースで扱う仕組みを提供しているわけです。

SDKからProcessingを利用するときに Processor や ScriptProcessor , SKLearnProcessor , PySparkProcessor など様々なクラスが提供されています。

こられについて、実は同様のAPIがそのままあって一対一で紐づいているという訳ではないのです。今回はProcessor と ScriptProcessor の関係を見ることでその話をしたいと思います。

Processingのおさらい

まずは、Processingの基本的な動きをおさらいしておきます。

図: Process data - Amazon SageMakerより引用

Processingの動きを簡単にまとめると以下のような仕組みになります。

任意のバッチ処理を動かすコンテナ実行環境
複数のインスタンスを起動しての分散処理が可能
実行時に入力として指定したS3のプレフィックスを含むデータをコンテナ内にコピーする
処理完了時に出力として指定したコンテナ内のディレクトリ内のファイルをS3にコピーする
コンテナ実行時のENTRYPOINTやCMDに相当するコマンドライン引数を指定可能

Processingにはどのような機能があるかの説明はこれでほぼすべてとなります。非常にシンプルで使いやすそうなコンテナ実行環境ですね。

ProcessorとScriptProcessor

さて、Processingの動作に関する仕組みが分かったところで、これを使ってSDK側の様々なクラスがどのように自身が提供する仕組みを実現しているのか見てきましょう。

最初に確認しておくこととして、SDKの中身をどうやって知るんだ？という話ですが、これはGitHubでソースが公開されています。

aws/sagemaker-python-sdk: A library for training and deploying machine learning models on Amazon SageMaker

そのため、SDKがどのような処理をしてどのようなにAPIアクセスしているのかは確認することが可能です。

まずは特にプレフィックスのつかないProcessorです。

すでにSDKを使っている方であればご存じかとは思いますが、 Processorクラスのインスタンス作成時や実行時に上記の仕組みで必要となるような項目を設定しています。 CreateProcessingJob - Amazon SageMakerなどと比較すると、これらはAPIが要求するJSON形式の入力とそれぞれ対応する関係があることが確認できます。

さて、これを踏まえてScriptProcessorのことを考えたいと思うのですが、create-processing-jobにはScriptProcessorにおけるcode引数に相当するが無さそうです。 ScriptProcessorはどのように実行時に利用するPythonスクリプトを利用しているのでしょうか？これは、Processing自体の機能ではなく、SDKのScrpitProcessorが以下のような処理を先に実行したうえでProcessing Jobを実行するという動きになっています。